![arxiv：2501.03902v1 [cs.lg] 2025年1月7日](/simg/d/d3732aa5caf3dad783e76c4e1d220d4fe68edf17.webp)
机构名称：
¥ 2.0
我们从时间角度研究了加强学习（RL）政策的解释性，重点是与个人行动相关的未来结果的顺序。在RL中，值函数压缩有关跨多个传统和无限视野收集的奖励的信息，从而允许一种紧凑的知识表示形式。但是，这种压缩掩盖了顺序决策中固有的时间细节，这是对解释性的关键挑战。我们提出了时间政策构成（TPD），这是一种新颖的解释性方法，该方法从他们的预期未来结果（EFO）方面解释了单个RL行动。这些解释将代理的价值函数分解为EFO序列，每个时间都逐步发展到感兴趣的预测范围，从而揭示了何时发生特定结果的见解。我们利用固定性时间差异学习来设计一种用于学习最佳和次优的动作的EFO的非政策方法，从而实现了由EFO组成的对比解释。我们的实验表明，TPD产生了准确的解释，即（i）阐明该政策的未来战略和预期的轨迹，对给定的行动进行了预期的轨迹，以及（ii）提高对奖励组成的理解，促进对奖励功能的微调，以与人类的期望保持一致。
arxiv：2501.03902v1 [cs.lg] 2025年1月7日
主要关键词
![arxiv：2501.03902v1 [cs.lg] 2025年1月7日PDF文件第1页](/bimg/2/2a48c86e7229c168cf2df93cd27dd5cbda046c66.webp)
![arxiv：2501.03902v1 [cs.lg] 2025年1月7日PDF文件第2页](/bimg/1/1fe64b9f077b04819471607c78fb1c13f3d7d755.webp)
![arxiv：2501.03902v1 [cs.lg] 2025年1月7日PDF文件第3页](/bimg/d/d413d173f113e7a6b6296d1d99be0dd2cf44f250.webp)
![arxiv：2501.03902v1 [cs.lg] 2025年1月7日PDF文件第4页](/bimg/9/9dc631e63bbac1a80bd1d2cf76fbdbbb7fe42baf.webp)
![arxiv：2501.03902v1 [cs.lg] 2025年1月7日PDF文件第5页](/bimg/0/0d1d48f5ed554672722a4f6f6754702d11bf64b9.webp)
相关文件推荐
![arxiv：2501.03537V1 [CS.HC] 2025年1月7日](/simg/f/f8b0197a55e6cd57b6ab84ca1d60d872d4addfb9.webp)
![arxiv：2501.16165v1 [cs.cr] 2025年1月27日](/simg/1/171f982992eecabd89c58411b5c551f1b9e106a4.webp)
![arxiv：2501.16848v1 [cs.lg] 2025年1月28日](/simg/e/e13cc1d46c0a6063406bda81c0bb68952e49eab6.webp)
![arxiv：2501.07447v1 [cs.lg] 2025年1月13日](/simg/b/bd85019652740d4af0b81f6cf8e79131ce64fb19.webp)
![arxiv：2501.16981v1 [cs.cv] 2025年1月28日](/simg/8/8fe8770514ff2f087487c1f519d3aa07c4215e9e.webp)
![arxiv：2501.04966v1 [cs.cv] 2025年1月9日](/simg/d/dea7ad7b96ec0868bc89135a1c4313459741b73c.webp)
![arxiv：2501.10089v1 [cs.cv] 2025年1月17日](/simg/7/741beda39614c3a573d37b99ccd8947f62d2e5fa.webp)
![arxiv：2501.15415v1 [cs.cv] 2025年1月26日](/simg/8/84782461405a7624ab37009ae9f74c6fa1c1bb44.webp)
![arxiv：2501.15369v1 [cs.cv] 2025年1月26日](/simg/4/4ad27d92a40e7e9934a51e62ccda0296dabb88fb.webp)
![arxiv：2501.04352v1 [cs.cv] 2025年1月8日](/simg/2/20b4b7601c5e5a91b018a205c40e7fc43aa3e198.webp)
![arxiv：2501.06907v1 [cs.lg] 2025年1月12日](/simg/5/584bd367ef6a329bbc6fec1335a5fa5c13bb982d.webp)
![arxiv：2501.09380v1 [cs.cr] 2025年1月16日](/simg/5/53ee5f48138db1a74ce31aaf47a7548b04e739c6.webp)
![arxiv：2501.16546v1 [cs.ai] 2025年1月27日](/simg/0/034c54f7346ac860f99cd36ed1d83ff17b75cf2b.webp)
![arxiv：2501.07994v1 [cs.cv] 2025年1月14日](/simg/c/cf0bc4d3de0f3d3629290402e430b2d6c96cb963.webp)
![arxiv：2501.02842v1 [cs.ir] 2025年1月6日](/simg/7/7e6a577afdac3ea40469e656198dccc8bf8a6987.webp)
![arxiv：2501.07985v1 [cs.ro] 2025年1月14日](/simg/c/c3a0101d75e42540c70527ec0a228410e73721c3.webp)
![arxiv：2501.16346v1 [cs.lg] 2025年1月18日](/simg/1/10c0964b0368b2f7aecdd616acbf1ae8f0dbaacb.webp)
![arxiv：2501.12399v1 [cs.ai] 2025年1月8日](/simg/2/29119dd451b6484fb5760a3499e1f3965e60cb15.webp)
![arxiv：2501.13697v1 [eess.sy] 2025年1月23日](/simg/c/cff763d370a1be105b5d57ac6adda3bd49437b5e.webp)
![arxiv：2501.07351v1 [Quant-ph] 2025年1月13日](/simg/f/ff4ea376f165870f29b1d98d9ef633dad3b7a1bd.webp)
![arxiv：2501.18177V1 [CS.IR] 2025年1月30日](/simg/5/59ace2f404b560bd35cc94c0a9dba3121f140715.webp)
![arxiv：2501.07059v1 [hep-ph] 2025年1月13日](/simg/c/c677071b73f8ab5ae91fb38598dd8862aaf4645a.webp)
![arxiv：2501.05268v1 [Quant-ph] 2025年1月9日](/simg/7/768cd77d034836059dee57db4b77d5b3387862e8.webp)
![arxiv：2501.16649v1 [eess.sp] 2025年1月12日](/simg/7/756577affeb7e32082f3d9879318bbdb09b7e4ff.webp)
![arxiv：2501.18803v1 [cs.lg] 2025年1月30日](/simg/b/bf831b630a685a61ec21b4ebcc4c758f61bc7407.webp)
![arxiv：2408.11735v3 [CS.AI] 2025年1月7日](/simg/e/ea366222ff045d7f392b2f1f4d7166ed2cd8d1b0.webp)
![arxiv：2501.16651v1 [eess.sp] 2025年1月12日](/simg/6/64442d13ca6f300de928f4cb40f36c1c3490bdfc.webp)
![arxiv：2501.03098v1 [cs.cy] 2025年1月6日](/simg/0/0640eb5c37b4a83a64d8d1480db6e8310c00ca6b.webp)